基于生成神经辐射场(GNERF)基于生成神经辐射场(GNERF)的3D感知gan已达到令人印象深刻的高质量图像产生,同时保持了强3D一致性。最显着的成就是在面部生成领域中取得的。但是,这些模型中的大多数都集中在提高视图一致性上,但忽略了分离的方面,因此这些模型无法提供高质量的语义/属性控制对生成。为此,我们引入了一个有条件的GNERF模型,该模型使用特定属性标签作为输入,以提高3D感知生成模型的控制能力和解散能力。我们利用预先训练的3D感知模型作为基础,并集成了双分支属性编辑模块(DAEM),该模块(DAEM)利用属性标签来提供对生成的控制。此外,我们提出了一个Triot(作为INIT的训练,并针对调整进行优化),以优化潜在矢量以进一步提高属性编辑的精度。广泛使用的FFHQ上的广泛实验表明,我们的模型在保留非目标区域的同时产生具有更好视图一致性的高质量编辑。该代码可在https://github.com/zhangqianhui/tt-gnerf上找到。
translated by 谷歌翻译
近年来,基于深度学习的面部检测算法取得了长足的进步。这些算法通常可以分为两类,即诸如更快的R-CNN和像Yolo这样的单阶段检测器之类的两个阶段检测器。由于准确性和速度之间的平衡更好,因此在许多应用中广泛使用了一阶段探测器。在本文中,我们提出了一个基于一阶段检测器Yolov5的实时面部检测器,名为Yolo-Facev2。我们设计一个称为RFE的接收场增强模块,以增强小面的接受场,并使用NWD损失来弥补IOU对微小物体的位置偏差的敏感性。对于面部阻塞,我们提出了一个名为Seam的注意模块,并引入了排斥损失以解决它。此外,我们使用重量函数幻灯片来解决简单和硬样品之间的不平衡,并使用有效的接收场的信息来设计锚。宽面数据集上的实验结果表明,在所有简单,中和硬子集中都可以找到我们的面部检测器及其变体的表现及其变体。源代码https://github.com/krasjet-yu/yolo-facev2
translated by 谷歌翻译
视觉变压器(VIT)在各种计算机视觉任务中的成功促进了该无卷积网络的不断增长。 VIT在图像贴片上工作的事实使其可能与拼图拼图解决的问题有关,这是一项经典的自我监督的任务,旨在重新排序洗牌的顺序图像贴片回到其自然形式。尽管它很简单,但已证明解决拼图拼图对使用卷积神经网络(CNN)(例如自我监督的特征表示学习,领域的概括和细粒度分类)的任务有帮助。在本文中,我们探索了解决拼图拼图作为图像分类的自我监督的辅助损失,名为Jigsaw-Vit。我们展示了两种修改,可以使拼图优于标准VIT:丢弃位置嵌入和随机掩盖斑块。但是很简单,我们发现拼图vit能够改善标准VIT的概括和鲁棒性,这通常是一种权衡。在实验上,我们表明,在ImageNet上的大规模图像分类中,添加拼图拼图分支比VIT提供了更好的概括。此外,辅助任务还提高了对动物-10n,食物101N和服装的嘈杂标签的鲁棒性,也可以提高对抗性示例。我们的实施可从https://yingyichen-cyy.github.io/jigsaw-vit/获得。
translated by 谷歌翻译
本文是第一个提供全面的系统设计概述以及融合方法选择标准的现实世界合作自动驾驶系统的选择标准,该标准为基础架构增强自主驾驶或IAAD。我们在路边和车辆侧计算和通信平台上介绍了IAAD硬件和软件的深入介绍。我们在现实部署方案的背景下广泛地表征了IAAD系统,并观察到沿着道路波动的网络状况是目前是合作自动驾驶的主要技术障碍。为了应对这一挑战,我们提出了新的融合方法,称为“框架间融合”和“计划融合”,以补充当前最新的“框架内融合”。我们证明,每种融合方法都有其自身的好处和约束。
translated by 谷歌翻译
最近的工作表明,视觉变压器(VTS)的注意力图在接受自学训练时,可以包含一种语义分割结构,在监督训练时不会自发出现。在本文中,我们明确鼓励这种空间聚类的出现作为一种培训正规化的形式,这种方式包括在标准监督学习中进行自我监督的借口任务。更详细地,我们根据信息熵的空间公式提出了一种VT正则化方法。通过最大程度地减少提议的空间熵,我们明确要求VT生成空间有序的注意图,这是在训练过程中包括基于对象的先验。使用广泛的实验,我们表明,在不同的培训方案,数据集,下游任务和VT体系结构中,提出的正则化方法是有益的。该代码将在接受后可用。
translated by 谷歌翻译
视觉变换器(VTS)作为卷积网络(CNNS)的架构范式替代品。与CNN不同,VT可以捕获图像元素之间的全局关系,并且它们可能具有更大的表示容量。然而,缺乏典型的卷积电感偏差使这些模型比普通的CNN更饥饿。实际上,嵌入在CNN架构设计中的某些本地属性,在VTS中应该从样品中学习。在本文中,我们明确地分析了不同的VTS,比较了他们在小型训练制度中的鲁棒性,并且我们表明,尽管在想象中训练时具有可比的准确性,但它们在较小数据集上的性能可能很大程度上不同。此外,我们提出了一种自我监督的任务,可以从图像中提取其他信息,只有可忽略不计的计算开销。这项任务鼓励VTS学习图像内的空间关系,并使VT培训在训练数据稀缺时更加强劲。我们的任务与标准(监督)培训共同使用,它不依赖于特定的架构选择,因此它可以轻松插入现有的VTS。使用与不同的VTS和数据集进行广泛的评估,我们表明我们的方法可以改善(有时显着地)VTS的最终精度。我们的代码可用于:https://github.com/yhlleo/vts-droc。
translated by 谷歌翻译
由于遮挡和边界歧义问题,VHR RSIS中的建筑提取仍然是一个具有挑战性的任务。虽然传统的卷积神经网络(CNNS)的方法能够利用局部纹理和上下文信息,但它们无法捕获建筑物的形状模式,这是人类识别的必要约束。为了解决这个问题,我们提出了一个对抗性形状学习网络(ASLNET)来模拟构建形状模式,提高构建分割的准确性。在提议的ASLNET中,我们介绍了对抗性学习策略,以明确地模拟形状约束,以及CNN形式规范器,以加强形状特征的嵌入。为了评估构建分割结果的几何准确性,我们介绍了几种基于对象的质量评估度量。两个开放基准数据集的实验表明,所提出的ASLNET通过大边距提高了基于像素的准确性和基于对象的质量测量。该代码可在:https://github.com/gnsding/aslnet
translated by 谷歌翻译
尖峰神经网络(SNN)是一种具有生物学知识的模型,具有高计算能力和低功耗的优势。虽然对深SNN的培训仍然是一个空旷的问题,但它限制了深SNN的现实应用。在这里,我们提出了一个名为Spiking SiamFC ++的深SNN架构,用于对象跟踪,并通过端到端直接培训。具体而言,Alexnet网络在时间域中扩展以提取该功能,并采用替代梯度功能来实现对深SNN的直接监督培训。为了检查尖峰SiAMFC ++的性能,考虑了几种跟踪基准测试,包括OTB2013,OTB2015,Dot2015,Dot2016和UAV123。发现与原始的siAMFC ++相比,精度损失很小。与现有的基于SNN的目标跟踪器相比,例如暹罗(Siamsnn),提议的Spiking SiamFC ++的精度(连续)达到了85.24%(64.37%),远高于52.78%(44.32%)的精度(64.37%)。 。据我们所知,Spiking SiamFC ++的性能优于基于SNN的对象跟踪中现有的最新方法,该方法为目标跟踪领域中的SNN应用提供了新的路径。这项工作可能会进一步促进SNN算法和神经形态芯片的发展。
translated by 谷歌翻译
In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.
translated by 谷歌翻译
Dataset distillation has emerged as a prominent technique to improve data efficiency when training machine learning models. It encapsulates the knowledge from a large dataset into a smaller synthetic dataset. A model trained on this smaller distilled dataset can attain comparable performance to a model trained on the original training dataset. However, the existing dataset distillation techniques mainly aim at achieving the best trade-off between resource usage efficiency and model utility. The security risks stemming from them have not been explored. This study performs the first backdoor attack against the models trained on the data distilled by dataset distillation models in the image domain. Concretely, we inject triggers into the synthetic data during the distillation procedure rather than during the model training stage, where all previous attacks are performed. We propose two types of backdoor attacks, namely NAIVEATTACK and DOORPING. NAIVEATTACK simply adds triggers to the raw data at the initial distillation phase, while DOORPING iteratively updates the triggers during the entire distillation procedure. We conduct extensive evaluations on multiple datasets, architectures, and dataset distillation techniques. Empirical evaluation shows that NAIVEATTACK achieves decent attack success rate (ASR) scores in some cases, while DOORPING reaches higher ASR scores (close to 1.0) in all cases. Furthermore, we conduct a comprehensive ablation study to analyze the factors that may affect the attack performance. Finally, we evaluate multiple defense mechanisms against our backdoor attacks and show that our attacks can practically circumvent these defense mechanisms.
translated by 谷歌翻译